Presto-তে Query Logs এবং Error Logs পর্যবেক্ষণ করা অত্যন্ত গুরুত্বপূর্ণ, কারণ এটি ডেটাবেসের কার্যক্ষমতা এবং সিস্টেমের স্থিতিশীলতা বজায় রাখতে সহায়ক। Query Logs-এ কোয়েরি এক্সিকিউশন সম্পর্কিত বিস্তারিত তথ্য থাকে, এবং Error Logs-এ সিস্টেমের ত্রুটির বিস্তারিত তথ্য পাওয়া যায়, যা সমস্যার সমাধানে সাহায্য করে।

এখানে Presto Query Logs এবং Error Logs পর্যবেক্ষণের জন্য কৌশলগুলো আলোচনা করা হলো।

১. Presto Query Logs পর্যবেক্ষণ

Presto-তে Query Logs কোয়েরি এক্সিকিউশন সম্পর্কিত ডিটেইলস ধারণ করে, যেমন:

• কোয়েরির অবস্থান (running, finished, failed)
• কোয়েরির সময়কাল
• ব্যবহারকারীর পরিচয় (user)
• কোয়েরির ধরন (SELECT, INSERT, UPDATE, DELETE)
• কোয়েরির ফলাফল
• এবং আরও অনেক কিছু

Query Logs চালু করা

Presto-তে Query Logs চালু করার জন্য, config.properties ফাইলে কিছু কনফিগারেশন পরিবর্তন করতে হবে। এই কনফিগারেশন ফাইলটি সাধারণত /etc/presto ডিরেক্টরিতে থাকে।

কনফিগারেশন উদাহরণ:

# Enable Query Logging
query.max-memory=5GB
query.max-memory-per-node=1GB
log.level=INFO

• log.level=INFO: এটি কোয়েরি লগিংয়ের জন্য Presto-কে ইনফরমেশন স্তরে লগিং করতে বলে।
• query.max-memory এবং query.max-memory-per-node: কোয়েরি চালানোর সময় কতটুকু মেমরি ব্যবহার করা হবে তা সীমাবদ্ধ করার জন্য এই কনফিগারেশন করা যেতে পারে।

Query Logs এর অবস্থান

Presto কোয়েরি লগ সাধারণত log ডিরেক্টরিতে থাকে। আপনি এই লগগুলি /var/log/presto/ অথবা যেখানেই Presto কনফিগার করা থাকে সেখানেও খুঁজে পেতে পারেন। Logs এর মধ্যে Query Execution এর তথ্য থাকবে।

/var/log/presto/query.log

Query Logs পর্যালোচনা করার উপায়

Query Logs পড়ে আপনি নিচের তথ্যগুলি পর্যবেক্ষণ করতে পারেন:

• Query Duration: কোয়েরি চলতে সময় কতটুকু ব্যয় হয়েছে, এটি এক্সিকিউশন অপটিমাইজেশনে সহায়ক।
• Query Status: কোয়েরি সফলভাবে সম্পন্ন হয়েছে কি না।
• Errors: কোয়েরি চলাকালীন যদি কোনো ত্রুটি ঘটে, তাহলে তার বিস্তারিত তথ্য।
• Resource Usage: কোয়েরি চলানোর সময় ব্যবহৃত CPU, মেমরি, এবং ডিস্ক I/O।

২. Presto Error Logs পর্যবেক্ষণ

Presto Error Logs ত্রুটির তথ্য ধারণ করে, যা কোয়েরি এক্সিকিউশনের সময় কোনো সমস্যা ঘটলে বা সিস্টেমের কোনো অংশে ত্রুটি ঘটলে পাওয়া যায়। Error Logs পর্যালোচনা করা খুবই গুরুত্বপূর্ণ, কারণ এটি সিস্টেমের সঠিক পরিচালনার জন্য ত্রুটিগুলি সনাক্ত করতে সাহায্য করে।

Error Logs চালু করা

Presto-তে Error Logs চালু করার জন্যও config.properties ফাইলে কিছু কনফিগারেশন করা প্রয়োজন। Error Logs সাধারণত ERROR স্তরের লগিং চালু রাখে।

কনফিগারেশন উদাহরণ:

log.level=ERROR

• log.level=ERROR: এটি Error Logs এর জন্য Presto-কে ERROR স্তরের লগিং করতে বলে, যার মধ্যে সমস্ত ত্রুটি সম্পর্কিত ডিটেইলস থাকবে।

Error Logs এর অবস্থান

Error Logs সাধারণত Presto এর লগ ডিরেক্টরিতে পাওয়া যায়, যেমন /var/log/presto/ অথবা etc/presto ডিরেক্টরিতে।

/var/log/presto/error.log

Error Logs পর্যালোচনা করার উপায়

Error Logs পড়তে আপনি নিচের ত্রুটির ধরনগুলি সনাক্ত করতে পারেন:

• Query Failures: কোনো কোয়েরি যদি ব্যর্থ হয়, তার কারণ ও সঠিক ত্রুটি কোড।
• Resource Limitations: কোয়েরি এক্সিকিউশনের সময় যদি সিস্টেমের কোনো রিসোর্সের সীমা অতিক্রম হয়, তাহলে তার বিস্তারিত তথ্য।
• Configuration Issues: যদি কোন কনফিগারেশন ভুল থাকে বা প্রয়োজনীয় কনফিগারেশন অভাব থাকে।

Error Logs উদাহরণ:

ERROR 2024-11-27 10:45:23,786 [main] com.facebook.presto.execution.QueryExecution - Query failed: 
java.lang.OutOfMemoryError: Java heap space

এখানে, একটি OutOfMemoryError দেখা যাচ্ছে, যা নির্দেশ করছে যে কোয়েরি চলাকালীন Java heap space সীমা অতিক্রম হয়েছে। এ ধরনের ত্রুটি নির্ধারণ করার মাধ্যমে আপনি সিস্টেমের রিসোর্স সীমা বাড়ানোর সিদ্ধান্ত নিতে পারেন।

৩. Query Logs এবং Error Logs পর্যবেক্ষণের জন্য টুলস

Presto Query Logs এবং Error Logs পর্যবেক্ষণের জন্য কিছু বিশেষ টুলস এবং টেকনিক্স ব্যবহার করা যেতে পারে:

• Prometheus এবং Grafana: Presto এবং ক্লাস্টারের পারফরম্যান্স ট্র্যাক করতে Prometheus এবং Grafana ব্যবহার করতে পারেন। এটি কোয়েরি পারফরম্যান্স এবং সিস্টেম স্ট্যাটাস রিয়েল-টাইমে দেখতে সহায়ক।
• Presto Web UI: Presto এর নিজস্ব Web UI তেও কোয়েরি এক্সিকিউশন এবং লগ পর্যবেক্ষণ করা সম্ভব।
• ELK Stack: Elasticsearch, Logstash, and Kibana (ELK Stack) ব্যবহার করে Presto লগগুলো সার্চ এবং ভিজুয়ালাইজেশন করতে পারেন।

উপসংহার

Presto Query Logs এবং Error Logs পর্যবেক্ষণ অত্যন্ত গুরুত্বপূর্ণ, কারণ এটি কোয়েরি পারফরম্যান্স এবং সিস্টেমের স্থিতিশীলতা নিশ্চিত করতে সহায়ক। সঠিক লগিং কনফিগারেশন এবং মনিটরিং সরঞ্জাম ব্যবহার করে Presto ক্লাস্টার পরিচালনা এবং অপটিমাইজেশন আরও কার্যকর হতে পারে।